<!DOCTYPE html>
<html lang="en-us" dir="ltr">
    <head><meta charset='utf-8'>
<meta name='viewport' content='width=device-width, initial-scale=1'><meta name='description' content='梯度消失现象 在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。
从上面的函数曲线可以看出，当$x$为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当$x$为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当$x$的取值在0附近时，Sigmoid函数的导数才比较大。对Sigmoid函数求导数，结果如下所示：
$$\frac{dy}{dx} = -\frac{1}{(1&#43;e^{-x})^2} \cdot \frac{d(e^{-x})}{dx} = \frac{1}{2 &#43; e^x &#43; e^{-x}}$$
从上面的式子可以看出，Sigmoid函数的导数$\frac{dy}{dx}$最大值为$\frac{1}{4}$。前向传播时，$y=Sigmoid(x)$；而在反向传播过程中，$x$的梯度等于$y$的梯度乘以Sigmoid函数的导数，如下所示：
$$\frac{\partial{L}}{\partial{x}} = \frac{\partial{L}}{\partial{y}} \cdot \frac{\partial{y}}{\partial{x}}$$
使得$x$的梯度数值最大也不会超过$y$的梯度的$\frac{1}{4}$。
由于最开始是将神经网络的参数随机初始化的，$x$的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致$x$的梯度接近于0；即使$x$取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，$x$的梯度不超过$y$的梯度的$\frac{1}{4}$，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。
ReLU函数则不同，虽然在$x\lt 0$的地方，ReLU函数的导数为0。但是在$x\ge 0$的地方，ReLU函数的导数为1，能够将$y$的梯度完整的传递给$x$，而不会引起梯度消失。
nlp学习目标 模型 SGNS/cBoW、FastText(模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。)、ELMo等（从词向量引出） DSSM、DecAtt、ESIM等（从问答&amp;amp;匹配引出） HAN、DPCNN等（从分类引出） BiDAF、DrQA、QANet等（从MRC引出） CoVe、InferSent等（从迁移引出） MM、N-shortest等（从分词引出） Bi-LSTM-CRF,BERT-LSTM-CRF等（从NER引出,命名实体识别） LDA等主题模型（从文本表示引出） 训练篇 point-wise、 pair-wise和list-wise（匹配、ranking模型） 负采样、 NCE层级softmax方法，哈夫曼树的构建 不均衡问题的处理 KL散度与交叉熵loss 函数评价指标篇 F1-score TN,FN,TP,FP,预测正确的负样本(negative),预测错误的负样本,预测正确的正样本(positive),预测错误的正样本 准确率(预测正确的概率) accuracy = (TP&#43;TN)预测正确的样本数/(TP&#43;FP&#43;TN&#43;FN)样本总数 缺点: 准确率作为我们最常用的指标，当出现样本不均衡的情况时，并不能合理反映模型的预测能力。例如测试数据集有90%的正样本，10%的负样本，假设模型预测结果全为正样本，这时准确率为90%，然而模型对负样本没有识别能力，此时高准确率不能反映模型的预测能力。 精确率Precision 实际正样本中被预测为正样本的比例 Precision = TP / (TP&#43;FP) 召回率Recall 预测为正的样本中预测正确的正样本的比例 Recall = TP:预测正确的正样本 / (TP&#43;FN):所有预测为正样本的样本 F1 = 2 * (精确率 * 召回率) / (精确率 &#43; 召回率) micro-F1(多分类版本F1) 统计各个类别的TP、FP、FN、TN，加和构成新的TP、FP、FN、TN，然后计算Micro-Precision和Micro-Recall，得到Micro-F1。具体的说，统计出来各个类别的混淆矩阵，然后把混淆矩阵“相加”起来，得到一个多类别的混淆矩阵，然后再计算F1score macro-F1 我感觉更常用的是Macro-F1。统计各个类别的TP、FP、FN、TN，分别计算各自的Precision和Recall，得到各自的F1值，然后取平均值得到Macro-F1 PPLMRR、 MAP'><title>机器学习</title>

<link rel='canonical' href='http://meruro.cn/p/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/'>

<link rel="stylesheet" href="/scss/style.min.5a8e892f6fa14515e9065eee1f5d2e05302606ec7f11750b2fb95198f9cdcbfd.css"><meta property='og:title' content='机器学习'>
<meta property='og:description' content='梯度消失现象 在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。
从上面的函数曲线可以看出，当$x$为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当$x$为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当$x$的取值在0附近时，Sigmoid函数的导数才比较大。对Sigmoid函数求导数，结果如下所示：
$$\frac{dy}{dx} = -\frac{1}{(1&#43;e^{-x})^2} \cdot \frac{d(e^{-x})}{dx} = \frac{1}{2 &#43; e^x &#43; e^{-x}}$$
从上面的式子可以看出，Sigmoid函数的导数$\frac{dy}{dx}$最大值为$\frac{1}{4}$。前向传播时，$y=Sigmoid(x)$；而在反向传播过程中，$x$的梯度等于$y$的梯度乘以Sigmoid函数的导数，如下所示：
$$\frac{\partial{L}}{\partial{x}} = \frac{\partial{L}}{\partial{y}} \cdot \frac{\partial{y}}{\partial{x}}$$
使得$x$的梯度数值最大也不会超过$y$的梯度的$\frac{1}{4}$。
由于最开始是将神经网络的参数随机初始化的，$x$的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致$x$的梯度接近于0；即使$x$取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，$x$的梯度不超过$y$的梯度的$\frac{1}{4}$，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。
ReLU函数则不同，虽然在$x\lt 0$的地方，ReLU函数的导数为0。但是在$x\ge 0$的地方，ReLU函数的导数为1，能够将$y$的梯度完整的传递给$x$，而不会引起梯度消失。
nlp学习目标 模型 SGNS/cBoW、FastText(模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。)、ELMo等（从词向量引出） DSSM、DecAtt、ESIM等（从问答&amp;amp;匹配引出） HAN、DPCNN等（从分类引出） BiDAF、DrQA、QANet等（从MRC引出） CoVe、InferSent等（从迁移引出） MM、N-shortest等（从分词引出） Bi-LSTM-CRF,BERT-LSTM-CRF等（从NER引出,命名实体识别） LDA等主题模型（从文本表示引出） 训练篇 point-wise、 pair-wise和list-wise（匹配、ranking模型） 负采样、 NCE层级softmax方法，哈夫曼树的构建 不均衡问题的处理 KL散度与交叉熵loss 函数评价指标篇 F1-score TN,FN,TP,FP,预测正确的负样本(negative),预测错误的负样本,预测正确的正样本(positive),预测错误的正样本 准确率(预测正确的概率) accuracy = (TP&#43;TN)预测正确的样本数/(TP&#43;FP&#43;TN&#43;FN)样本总数 缺点: 准确率作为我们最常用的指标，当出现样本不均衡的情况时，并不能合理反映模型的预测能力。例如测试数据集有90%的正样本，10%的负样本，假设模型预测结果全为正样本，这时准确率为90%，然而模型对负样本没有识别能力，此时高准确率不能反映模型的预测能力。 精确率Precision 实际正样本中被预测为正样本的比例 Precision = TP / (TP&#43;FP) 召回率Recall 预测为正的样本中预测正确的正样本的比例 Recall = TP:预测正确的正样本 / (TP&#43;FN):所有预测为正样本的样本 F1 = 2 * (精确率 * 召回率) / (精确率 &#43; 召回率) micro-F1(多分类版本F1) 统计各个类别的TP、FP、FN、TN，加和构成新的TP、FP、FN、TN，然后计算Micro-Precision和Micro-Recall，得到Micro-F1。具体的说，统计出来各个类别的混淆矩阵，然后把混淆矩阵“相加”起来，得到一个多类别的混淆矩阵，然后再计算F1score macro-F1 我感觉更常用的是Macro-F1。统计各个类别的TP、FP、FN、TN，分别计算各自的Precision和Recall，得到各自的F1值，然后取平均值得到Macro-F1 PPLMRR、 MAP'>
<meta property='og:url' content='http://meruro.cn/p/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/'>
<meta property='og:site_name' content='梅鲁梅鲁梅鲁梅~'>
<meta property='og:type' content='article'><meta property='article:section' content='Post' /><meta property='article:tag' content='代码' /><meta property='article:published_time' content='2018-06-18T22:00:07&#43;00:00'/><meta property='article:modified_time' content='2018-06-18T22:00:07&#43;00:00'/>
<meta name="twitter:title" content="机器学习">
<meta name="twitter:description" content="梯度消失现象 在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。
从上面的函数曲线可以看出，当$x$为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当$x$为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当$x$的取值在0附近时，Sigmoid函数的导数才比较大。对Sigmoid函数求导数，结果如下所示：
$$\frac{dy}{dx} = -\frac{1}{(1&#43;e^{-x})^2} \cdot \frac{d(e^{-x})}{dx} = \frac{1}{2 &#43; e^x &#43; e^{-x}}$$
从上面的式子可以看出，Sigmoid函数的导数$\frac{dy}{dx}$最大值为$\frac{1}{4}$。前向传播时，$y=Sigmoid(x)$；而在反向传播过程中，$x$的梯度等于$y$的梯度乘以Sigmoid函数的导数，如下所示：
$$\frac{\partial{L}}{\partial{x}} = \frac{\partial{L}}{\partial{y}} \cdot \frac{\partial{y}}{\partial{x}}$$
使得$x$的梯度数值最大也不会超过$y$的梯度的$\frac{1}{4}$。
由于最开始是将神经网络的参数随机初始化的，$x$的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致$x$的梯度接近于0；即使$x$取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，$x$的梯度不超过$y$的梯度的$\frac{1}{4}$，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。
ReLU函数则不同，虽然在$x\lt 0$的地方，ReLU函数的导数为0。但是在$x\ge 0$的地方，ReLU函数的导数为1，能够将$y$的梯度完整的传递给$x$，而不会引起梯度消失。
nlp学习目标 模型 SGNS/cBoW、FastText(模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。)、ELMo等（从词向量引出） DSSM、DecAtt、ESIM等（从问答&amp;amp;匹配引出） HAN、DPCNN等（从分类引出） BiDAF、DrQA、QANet等（从MRC引出） CoVe、InferSent等（从迁移引出） MM、N-shortest等（从分词引出） Bi-LSTM-CRF,BERT-LSTM-CRF等（从NER引出,命名实体识别） LDA等主题模型（从文本表示引出） 训练篇 point-wise、 pair-wise和list-wise（匹配、ranking模型） 负采样、 NCE层级softmax方法，哈夫曼树的构建 不均衡问题的处理 KL散度与交叉熵loss 函数评价指标篇 F1-score TN,FN,TP,FP,预测正确的负样本(negative),预测错误的负样本,预测正确的正样本(positive),预测错误的正样本 准确率(预测正确的概率) accuracy = (TP&#43;TN)预测正确的样本数/(TP&#43;FP&#43;TN&#43;FN)样本总数 缺点: 准确率作为我们最常用的指标，当出现样本不均衡的情况时，并不能合理反映模型的预测能力。例如测试数据集有90%的正样本，10%的负样本，假设模型预测结果全为正样本，这时准确率为90%，然而模型对负样本没有识别能力，此时高准确率不能反映模型的预测能力。 精确率Precision 实际正样本中被预测为正样本的比例 Precision = TP / (TP&#43;FP) 召回率Recall 预测为正的样本中预测正确的正样本的比例 Recall = TP:预测正确的正样本 / (TP&#43;FN):所有预测为正样本的样本 F1 = 2 * (精确率 * 召回率) / (精确率 &#43; 召回率) micro-F1(多分类版本F1) 统计各个类别的TP、FP、FN、TN，加和构成新的TP、FP、FN、TN，然后计算Micro-Precision和Micro-Recall，得到Micro-F1。具体的说，统计出来各个类别的混淆矩阵，然后把混淆矩阵“相加”起来，得到一个多类别的混淆矩阵，然后再计算F1score macro-F1 我感觉更常用的是Macro-F1。统计各个类别的TP、FP、FN、TN，分别计算各自的Precision和Recall，得到各自的F1值，然后取平均值得到Macro-F1 PPLMRR、 MAP">
    </head>
    <body class="
    article-page
    ">
    <script>
        (function() {
            const colorSchemeKey = 'StackColorScheme';
            if(!localStorage.getItem(colorSchemeKey)){
                localStorage.setItem(colorSchemeKey, "auto");
            }
        })();
    </script><script>
    (function() {
        const colorSchemeKey = 'StackColorScheme';
        const colorSchemeItem = localStorage.getItem(colorSchemeKey);
        const supportDarkMode = window.matchMedia('(prefers-color-scheme: dark)').matches === true;

        if (colorSchemeItem == 'dark' || colorSchemeItem === 'auto' && supportDarkMode) {
            

            document.documentElement.dataset.scheme = 'dark';
        } else {
            document.documentElement.dataset.scheme = 'light';
        }
    })();
</script>
<div class="container main-container flex on-phone--column extended"><aside class="sidebar left-sidebar sticky ">
    <button class="hamburger hamburger--spin" type="button" id="toggle-menu" aria-label="Toggle Menu">
        <span class="hamburger-box">
            <span class="hamburger-inner"></span>
        </span>
    </button>

    <header>
        
            
            <figure class="site-avatar">
                <a href="/">
                
                    
                    
                    
                        
                        <img src="/img/ava_hu31add2dceb44736f969f74989490346b_19511_300x0_resize_q75_box.jpg" width="300"
                            height="300" class="site-logo" loading="lazy" alt="Avatar">
                    
                
                </a>
                
                    <span class="emoji">🍥</span>
                
            </figure>
            
        
        
        <div class="site-meta">
            <h1 class="site-name"><a href="/">梅鲁梅鲁梅鲁梅~</a></h1>
            <h2 class="site-description">朝闻道,夕死可矣.</h2>
        </div>
    </header><ol class="social-menu">
            
                <li>
                    <a 
                        href='https://github.com/CaiJimmy/hugo-theme-stack'
                        target="_blank"
                        title="GitHub"
                    >
                        
                        
                            <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-brand-github" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z" fill="none"/>
  <path d="M9 19c-4.3 1.4 -4.3 -2.5 -6 -3m12 5v-3.5c0 -1 .1 -1.4 -.5 -2c2.8 -.3 5.5 -1.4 5.5 -6a4.6 4.6 0 0 0 -1.3 -3.2a4.2 4.2 0 0 0 -.1 -3.2s-1.1 -.3 -3.5 1.3a12.3 12.3 0 0 0 -6.2 0c-2.4 -1.6 -3.5 -1.3 -3.5 -1.3a4.2 4.2 0 0 0 -.1 3.2a4.6 4.6 0 0 0 -1.3 3.2c0 4.6 2.7 5.7 5.5 6c-.6 .6 -.6 1.2 -.5 2v3.5" />
</svg>



                        
                    </a>
                </li>
            
                <li>
                    <a 
                        href='https://twitter.com'
                        target="_blank"
                        title="Twitter"
                    >
                        
                        
                            <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-brand-twitter" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z" fill="none"/>
  <path d="M22 4.01c-1 .49 -1.98 .689 -3 .99c-1.121 -1.265 -2.783 -1.335 -4.38 -.737s-2.643 2.06 -2.62 3.737v1c-3.245 .083 -6.135 -1.395 -8 -4c0 0 -4.182 7.433 4 11c-1.872 1.247 -3.739 2.088 -6 2c3.308 1.803 6.913 2.423 10.034 1.517c3.58 -1.04 6.522 -3.723 7.651 -7.742a13.84 13.84 0 0 0 .497 -3.753c-.002 -.249 1.51 -2.772 1.818 -4.013z" />
</svg>



                        
                    </a>
                </li>
            
        </ol><ol class="menu" id="main-menu">
        
        
        

        <li >
            <a href='/' >
                
                
                
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-home" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <polyline points="5 12 3 12 12 3 21 12 19 12" />
  <path d="M5 12v7a2 2 0 0 0 2 2h10a2 2 0 0 0 2 -2v-7" />
  <path d="M9 21v-6a2 2 0 0 1 2 -2h2a2 2 0 0 1 2 2v6" />
</svg>



                
                <span>Home</span>
            </a>
        </li>
        
        

        <li >
            <a href='/about/' >
                
                
                
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-user" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="12" cy="7" r="4" />
  <path d="M6 21v-2a4 4 0 0 1 4 -4h4a4 4 0 0 1 4 4v2" />
</svg>



                
                <span>About</span>
            </a>
        </li>
        
        

        <li >
            <a href='/archives/' >
                
                
                
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-archive" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <rect x="3" y="4" width="18" height="4" rx="2" />
  <path d="M5 8v10a2 2 0 0 0 2 2h10a2 2 0 0 0 2 -2v-10" />
  <line x1="10" y1="12" x2="14" y2="12" />
</svg>



                
                <span>Archives</span>
            </a>
        </li>
        
        

        <li >
            <a href='/search/' >
                
                
                
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-search" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="10" cy="10" r="7" />
  <line x1="21" y1="21" x2="15" y2="15" />
</svg>



                
                <span>Search</span>
            </a>
        </li>
        
        

        <li >
            <a href='/links/' >
                
                
                
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-link" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <path d="M10 14a3.5 3.5 0 0 0 5 0l4 -4a3.5 3.5 0 0 0 -5 -5l-.5 .5" />
  <path d="M14 10a3.5 3.5 0 0 0 -5 0l-4 4a3.5 3.5 0 0 0 5 5l.5 -.5" />
</svg>



                
                <span>Links</span>
            </a>
        </li>
        

        <div class="menu-bottom-section">
                <li id="i18n-switch">  
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-language" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z" fill="none"/>
  <path d="M4 5h7" />
  <path d="M9 3v2c0 4.418 -2.239 8 -5 8" />
  <path d="M5 9c-.003 2.144 2.952 3.908 6.7 4" />
  <path d="M12 20l4 -9l4 9" />
  <path d="M19.1 18h-6.2" />
</svg>



                    <select name="language" onchange="window.location.href = this.selectedOptions[0].value">
                        
                            <option value="http://meruro.cn/" selected>English</option>
                        
                            <option value="http://meruro.cn/zh-cn/" >中文</option>
                        
                            <option value="http://meruro.cn/ar/" >عربي</option>
                        
                    </select>
                </li>
            
            
            
                <li id="dark-mode-toggle">
                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-toggle-left" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="8" cy="12" r="2" />
  <rect x="2" y="6" width="20" height="12" rx="6" />
</svg>



                    <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-toggle-right" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="16" cy="12" r="2" />
  <rect x="2" y="6" width="20" height="12" rx="6" />
</svg>



                    <span>Dark Mode</span>
                </li>
            
        </div>
    </ol>
</aside>
<main class="main full-width">
    <article class="main-article">
    <header class="article-header">

    <div class="article-details">
    

    <div class="article-title-wrapper">
        <h2 class="article-title">
            <a href="/p/%E6%9C%BA%E5%99%A8%E5%AD%A6%E4%B9%A0/">机器学习</a>
        </h2>
    
        
    </div>

    
    <footer class="article-time">
        
            <div>
                <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-calendar-time" width="56" height="56" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <path d="M11.795 21h-6.795a2 2 0 0 1 -2 -2v-12a2 2 0 0 1 2 -2h12a2 2 0 0 1 2 2v4" />
  <circle cx="18" cy="18" r="4" />
  <path d="M15 3v4" />
  <path d="M7 3v4" />
  <path d="M3 11h16" />
  <path d="M18 16.496v1.504l1 1" />
</svg>
                <time class="article-time--published">Jun 18, 2018</time>
            </div>
        

        
            <div>
                <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-clock" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="12" cy="12" r="9" />
  <polyline points="12 7 12 12 15 15" />
</svg>



                <time class="article-time--reading">
                    2 minute read
                </time>
            </div>
        
    </footer>
    

    
</div>
</header>

    <section class="article-content">
    
    
    <h3 id="梯度消失现象">梯度消失现象</h3>
<p>在神经网络里，将经过反向传播之后，梯度值衰减到接近于零的现象称作梯度消失现象。</p>
<p>从上面的函数曲线可以看出，当$x$为较大的正数的时候，Sigmoid函数数值非常接近于1，函数曲线变得很平滑，在这些区域Sigmoid函数的导数接近于零。当$x$为较小的负数时，Sigmoid函数值也非常接近于0，函数曲线也很平滑，在这些区域Sigmoid函数的导数也接近于0。只有当$x$的取值在0附近时，Sigmoid函数的导数才比较大。对Sigmoid函数求导数，结果如下所示：</p>
<p>$$\frac{dy}{dx} = -\frac{1}{(1+e^{-x})^2} \cdot \frac{d(e^{-x})}{dx} = \frac{1}{2 + e^x + e^{-x}}$$</p>
<p>从上面的式子可以看出，Sigmoid函数的导数$\frac{dy}{dx}$最大值为$\frac{1}{4}$。前向传播时，$y=Sigmoid(x)$；而在反向传播过程中，$x$的梯度等于$y$的梯度乘以Sigmoid函数的导数，如下所示：</p>
<p>$$\frac{\partial{L}}{\partial{x}} = \frac{\partial{L}}{\partial{y}} \cdot \frac{\partial{y}}{\partial{x}}$$</p>
<p>使得$x$的梯度数值最大也不会超过$y$的梯度的$\frac{1}{4}$。</p>
<p>由于最开始是将神经网络的参数随机初始化的，$x$的取值很有可能在很大或者很小的区域，这些地方都可能造成Sigmoid函数的导数接近于0，导致$x$的梯度接近于0；即使$x$取值在接近于0的地方，按上面的分析，经过Sigmoid函数反向传播之后，$x$的梯度不超过$y$的梯度的$\frac{1}{4}$，如果有多层网络使用了Sigmoid激活函数，则比较靠后的那些层梯度将衰减到非常小的值。</p>
<p>ReLU函数则不同，虽然在$x\lt 0$的地方，ReLU函数的导数为0。但是在$x\ge 0$的地方，ReLU函数的导数为1，能够将$y$的梯度完整的传递给$x$，而不会引起梯度消失。</p>
<h2 id="nlp学习目标">nlp学习目标</h2>
<ol>
<li>模型
SGNS/cBoW、FastText(模型输入一个词的序列（一段文本或者一句话)，输出这个词序列属于不同类别的概率。)、ELMo等（从词向量引出）
DSSM、DecAtt、ESIM等（从问答&amp;匹配引出）
HAN、DPCNN等（从分类引出）
BiDAF、DrQA、QANet等（从MRC引出）
CoVe、InferSent等（从迁移引出）
MM、N-shortest等（从分词引出）
Bi-LSTM-CRF,BERT-LSTM-CRF等（从NER引出,命名实体识别）
LDA等主题模型（从文本表示引出）</li>
<li>训练篇
point-wise、
pair-wise和list-wise（匹配、ranking模型）
负采样、
NCE层级softmax方法，哈夫曼树的构建
不均衡问题的处理
KL散度与交叉熵loss</li>
<li>函数评价指标篇
F1-score</li>
</ol>
<ul>
<li>TN,FN,TP,FP,预测正确的负样本(negative),预测错误的负样本,预测正确的正样本(positive),预测错误的正样本</li>
<li>准确率(预测正确的概率) accuracy = (TP+TN)预测正确的样本数/(TP+FP+TN+FN)样本总数</li>
<li>缺点: 准确率作为我们最常用的指标，当出现样本不均衡的情况时，并不能合理反映模型的预测能力。例如测试数据集有90%的正样本，10%的负样本，假设模型预测结果全为正样本，这时准确率为90%，然而模型对负样本没有识别能力，此时高准确率不能反映模型的预测能力。</li>
<li>精确率Precision 实际正样本中被预测为正样本的比例 Precision = TP / (TP+FP)</li>
<li>召回率Recall 预测为正的样本中预测正确的正样本的比例 Recall = TP:预测正确的正样本 / (TP+FN):所有预测为正样本的样本</li>
<li>F1 = 2 * (精确率 * 召回率) / (精确率 + 召回率)
micro-F1(多分类版本F1)
统计各个类别的TP、FP、FN、TN，加和构成新的TP、FP、FN、TN，然后计算Micro-Precision和Micro-Recall，得到Micro-F1。具体的说，统计出来各个类别的混淆矩阵，然后把混淆矩阵“相加”起来，得到一个多类别的混淆矩阵，然后再计算F1score
macro-F1
我感觉更常用的是Macro-F1。统计各个类别的TP、FP、FN、TN，分别计算各自的Precision和Recall，得到各自的F1值，然后取平均值得到Macro-F1</li>
</ul>
<p>PPLMRR、
MAP</p>
<h2 id="卷积神经网络">卷积神经网络</h2>
<h3 id="实际使用卷积神经网络">实际使用卷积神经网络</h3>
<p>针对你的任务，如何设计网络？ 当面对你的实际任务时，如果你的目标是解决该任务而不是发明新算法，那么不要试图自己设计全新的网络结构，也不要试图从零复现现有的网络结构。找已经公开的实现和预训练模型进行微调。去掉最后一个全连接层和对应softmax，加上对应你任务的全连接层和softmax，再固定住前面的层，只训练你加的部分。如果你的训练数据比较多，那么可以多微调几层，甚至微调所有层。</p>
<p>卷积核的计算过程可以用下面的数学公式表示，其中 $a$ 代表输入图片， $b$ 代表输出特征图，$w$ 是卷积核参数，它们都是二维数组，$\sum{u,v}{\ }$ 表示对卷积核参数进行遍历并求和。</p>
<p>$$b[i, j] = \sum_{u,v}{a[i+u, j+v]\cdot w[u, v]}$$</p>
<p>举例说明，假如上图中卷积核大小是$2\times 2$，则$u$可以取0和1，$v$也可以取0和1，也就是说：
$$b[i, j] = a[i+0, j+0]\cdot w[0, 0] + a[i+0, j+1]\cdot w[0, 1] + a[i+1, j+0]\cdot w[1, 0] + a[i+1, j+1]\cdot w[1, 1]$$</p>
<h3 id="填充padding">填充（padding）</h3>
<p>在上面的例子中，输入图片尺寸为$3\times3$，输出图片尺寸为$2\times2$，并且步幅为1时, 经过一次卷积之后，图片尺寸变小。卷积输出特征图的尺寸计算方法如下（卷积核的高和宽分别为$k_h$和$k_w$）：</p>
<p>$$H_{out} = H - k_h + 1$$
$$W_{out} = W - k_w + 1$$</p>
<p>当宽和高方向的步幅分别为$s_h$和$s_w$时，输出特征图尺寸的计算公式是：</p>
<p>$$H_{out} = \frac{H + 2p_h - k_h}{s_h} + 1$$</p>
<p>$$W_{out} = \frac{W + 2p_w - k_w}{s_w} + 1$$</p>
<p>在卷积计算过程中，通常会在高度或者宽度的两侧采取等量填充，即$p_{h1} = p_{h2} = p_h,\ \ p_{w1} = p_{w2} = p_w$，上面计算公式也就变为：
$$H_{out} = H + 2p_h - k_h + 1$$
$$W_{out} = W + 2p_w - k_w + 1$$
卷积核大小通常使用1，3，5，7这样的奇数，如果使用的填充大小为$p_h=(k_h-1)/2 ，p_w=(k_w-1)/2$，则卷积之后图像尺寸不变。例如当卷积核大小为3时，padding大小为1，卷积之后图像尺寸不变；同理，如果卷积核大小为5，padding大小为2，也能保持图像尺寸不变。</p>
<h3 id="感受野receptive-field">感受野（Receptive Field）</h3>
<p>输出特征图上每个点的数值，是由输入图片上大小为$k_h\times k_w$的区域的元素与卷积核每个元素相乘再相加得到的，所以输入图像上$k_h\times k_w$区域内每个元素数值的改变，都会影响输出点的像素值。我们将这个区域叫做输出特征图上对应点的感受野。感受野内每个元素数值的变动，都会影响输出点的数值变化。比如$3\times3$卷积对应的感受野大小就是$3\times3$</p>
<h3 id="批量操作">批量操作</h3>
<p>在卷积神经网络的计算中，通常将多个样本放在一起形成一个mini-batch进行批量操作，即输入数据的维度是$N\times{C_{in}}\times{H_{in}}\times{W_{in}}$。由于会对每张图片使用同样的卷积核进行卷积操作，卷积核的维度与上面多输出通道的情况一样，仍然是$C_{out}\times C_{in}\times{k_h}\times{k_w}$，输出特征图的维度是$N\times{C_{out}}\times{H_{out}}\times{W_{out}}$，如 <strong>图14</strong> 所示。</p>
<p><!-- raw HTML omitted --><!-- raw HTML omitted --></p>
<!-- raw HTML omitted -->
<h3 id="池化">池化</h3>
<p><!-- raw HTML omitted --><!-- raw HTML omitted --></p>
<!-- raw HTML omitted -->
<p>在卷积神经网络中，通常使用2×22\times22×2大小的池化窗口，步幅也使用2，填充为0，则输出特征图的尺寸 !!宽高都会减半</p>
<h3 id="什么是机器学习模型">什么是机器学习模型</h3>
<p>**机器学习模型（machine learning model）**是机器学习算法产出的结果，可以将其看作是在给定输入情况下、输出一定结果的<code>函数（function）</code> \mathtt{F}F。</p>
<p>机器学习模型不是预先定义好的固定函数，而是从历史数据中推导出来的。因此，当输入不同的数据时，机器学习算法的输出会发生变化，即机器学习模型发生改变</p>
<h3 id="有监督和无监督">有监督和无监督</h3>
<p>首先可以确定它是<code>有监督（supervised）</code> 问题还是<code>无监督（unsupervised）</code> 问题</p>
<p>在一个<em><strong>有监督</strong></em>的学习任务中，数据样本将包含一个目标属性 y<em>y</em>，也就是所谓的<em><strong>真值（ground truth）</strong></em>。我们的任务是通过学习得到一个函数 F，它接受非目标属性 X，并输出一个接近目标属性的值，即 <em>F</em>(<em>X</em>)≈<em>y</em>。(有x和y值求函数F)</p>
<p><em><strong>无监督</strong></em>学习没有y值,求F</p>
<h3 id="无监督学习的应用">无监督学习的应用</h3>
<ul>
<li><strong>聚类（Clustering）</strong>：给定一个数据集，可以根据数据集中样本之间的相似性，将样本聚集成组</li>
<li><strong>关联（Association）</strong>：给定一个数据集，关联任务是发现样本属性之间隐藏的关联模式</li>
</ul>
<h3 id="半监督学习">半监督学习</h3>
<p>在数据集很大，但标记样本很少的情况下，可以找到同时具备有监督和无监督学习的应用。我们可以将这样的任务称为<em><strong>半监督学习（semi-supervised learning</strong></em>***）***。</p>
<p>通过有监督的学习，我们用有标记的数据训练一个模型，然后用该模型来预测未标记的数据，但是我们很难相信这个模型是足够普遍的，毕竟我们只用少量的数据就完成了学习。一种更好的策略是首先将图像聚类成组（无监督学习），然后对每个组分别应用有监督的学习算法。第一阶段的无监督学习可以帮助我们缩小学习的范围，第二阶段的有监督学习可以获得更好的精度。</p>
<h3 id="分类模型classification">分类模型（classification）</h3>
<p>如果机器学习模型的输出是<code>离散值（discrete values）</code>，例如布尔值，那么我们将其称为分类模型。如果输出是<code>连续值（continuous values）</code>，那么我们将其称为回归模型。</p>
<!-- raw HTML omitted -->
<p>输入可以表示为矩阵 <em>M</em>，尺寸为 <em>H</em>×<em>W</em>，其中 <em>H</em> 是照片的高度（像素），<em>W</em> 是照片的宽度。矩阵中的每个元素都是照片中每个像素的灰度值，即一个介于 [0, 255][0,255] 之间的整数，表示颜色的强度。模型的预期输出为二进制值 [1|0][1∣0]，用于指示照片是否显示猫。综上所述，我们的猫照片识别模型 F<em>F</em> 可表述如下：</p>
<p><em>F</em>(<em>M</em> [<em>H</em>] [<em>W</em>])=1∣0,where <em>M</em> [<em>i</em>] [<em>j</em>]∈[0,255],0&lt;<em>i</em>&lt;<em>H</em>,0&lt;<em>j</em>&lt;<em>W</em></p>
<p>机器学习的目标是找出一个尽可能通用的函数，这个函数要尽可能对不可见数据给出正确的答案。</p>
<h3 id="回归模型regression">回归模型（regression）</h3>
<p>在一个评估房价的模型中,对于每个正在考虑的房产，我们可以将其特征用元组 <em>T</em> 来表示，其中元组中的每个元素要么是数值，要么是表示其属性之一的分类值。在许多情况下，这些元素也被称为 “<code>特征（features）</code>”。综上所述，我们可以建立如下的房产价格估算模型：</p>
<ul>
<li>​				F*(<em>T</em>)=*p, where <em>p</em>∈R</li>
</ul>
<p>已一系列特征值通过F评估出一个连续曲线</p>
<h3 id="逻辑回归logistic-regression">逻辑回归（Logistic Regression）</h3>
<p>对于一个现实世界的问题，有时人们可以很容易地将其表述出来，并快速地将其归结为一个分类问题或回归问题。然而，有时这两个模型之间的边界并不清晰，人们可以将分类问题转化为回归问题，反之亦然。</p>
<p>对于我们的猫照片识别模型，我们也可以将其从分类问题转换为回归问题。我们可以定义一个模型来给出一个介于 [0, 100%][0,100%] 之间概率值来判断照片中是否有猫，而不是给出一个二进制值作为输出。这样，就可以比较两个模型之间的细微差别，并进一步调整模型。例如，对于有猫的照片，模型 A 给出概率为 1%，而模型 B 对相同照片给出了 49% 的概率。虽然这两种模型都没有给出正确的答案，但我们可以看出，模型 B 更接近于事实。在这种情况下，人们经常应用一种称为<code>逻辑回归（Logistic Regression）</code>的机器学习模型，这种模型将连续概率值作为输出，但用于解决分类问题。</p>
<h3 id="以数据为中心的工作流workflow">以数据为中心的工作流（workflow）</h3>
<p>首先，我们不能一昧只谈论机器学习，而将数据搁置在一旁。数据之于机器学习模型就如燃料之于火箭发动机一样重要。</p>
<p>对于有监督的机器学习算法，我们根据模型的预期输出进一步确定生成模型的类型：<em><strong>分类</strong></em>或<em><strong>回归</strong></em>，即分类模型的离散值和回归模型的连续值。</p>
<p>一旦我们确定了想要从数据中构建的模型类型，我们就开始执行<em><strong>特征工程（feature engineering）</strong></em>，这是一组将数据转换为所需格式的活动</p>
<p>特征工程的例子:</p>
<ul>
<li>将数据<em><strong>分成</strong></em>两组：训练和测试。在训练模型的过程中使用训练数据集，然后使用测试数据集来测试或验证我们构建的模型是否足够通用，是否可以应用于不可见的数据。</li>
<li>原始数据集通常是<em><strong>不完整的</strong></em>，带有缺失值。因此，可能需要用各种策略来<strong>填充</strong>这些缺失值，例如用平均值进行填充。</li>
<li>数据集通常包含分类属性，如国家、性别等，通常情况下，由于算法的限制，需要将这些分类字符串值<em><strong>编码</strong></em>为数值。例如，线性回归算法只能处理输入的实值向量。</li>
</ul>
<p>一旦数据准备好，我们就选择一个机器学习算法，并开始向算法输入准备好的<em><strong>训练数据（training data）</strong></em>。这就是我们所说的*<strong>训练过程（<em><em><strong><strong>training process*</strong></strong></em>）</em></strong>。</p>
<p>一旦我们在训练过程结束后获得了机器学习模型，就需要用保留的**<em>测试数据（<em><em><strong><strong>testing data*</strong></strong></em>）<em><strong>对模型进行测试。这就是我们所说的</strong></em>测试过程（testing process）*</em></em>。</p>
<p>初次训练的模型往往无法令人感到满意。此后，我们将再一次回到训练过程，并调整由我们选择的模型公开的一些参数。这就是我们所说的*<strong>超参数调优（<em><em><strong><strong>hyper-parameter tuning*</strong></strong></em>）</em></strong>。</p>
<h3 id="若输入错误数据则输出亦为错误数据">若输入错误数据，则输出亦为错误数据。</h3>
<h3 id="欠拟合underfitting和过拟合overfitting">欠拟合（underfitting）<code>和</code>过拟合（overfitting）</h3>
<p>有监督学习算法的一个重要度量是*<strong>泛化*</strong>，它衡量从训练数据导出的模型对不可见数据的期望属性的预测能力。当我们说一个模型是欠拟合或过拟合时，它意味着该模型没有很好地推广到不可见数据。</p>
<p><img src="/C:%5cUsers%5cMeruro%5cAppData%5cRoaming%5cTypora%5ctypora-user-images%5cimage-20200623015712275.png"
	
	
	
	loading="lazy"
	
		alt="image-20200623015712275"
	
	
></p>
<h3 id="欠拟合">欠拟合</h3>
<hr>
<p>欠拟合模型是指不能很好地拟合训练数据的模型，即显著偏离真实值的模型。</p>
<p>欠拟合的原因之一可能是模型对数据而言过于简化，因此无法捕获数据中隐藏的关系。从上图**（1）**可以看出，在分离样本（即分类）的过程中，一个简单的线性模型（一条直线）不能清晰地画出不同类别样本之间的边界，从而导致严重的分类错误。</p>
<p>为了避免上述欠拟合的原因，我们需要选择一种能够从训练数据集生成更复杂模型的替代算法。</p>
<h3 id="过拟合">过拟合</h3>
<hr>
<p>过拟合模型是与训练数据拟合较好的模型，即误差很小或没有误差，但不能很好地推广到不可见数据。</p>
<p>与欠拟合相反，过拟合往往是一个能够适应每一位数据的超复杂模型，但却可能会陷入噪音和误差的陷阱。从上面的图**（3）**可以看出，虽然模型在训练数据中的分类错误少了，但在不可见数据上更可能出错。</p>
<p>类似地于欠拟合的情况，为了避免过拟合，可以尝试另一种从训练数据集生成更简单的模型的算法。或者更常见的情况是，使用生成过拟合模型的原始算法，但在算法中增加添加了<code>正则化（regularization）</code>项，即对过于复杂的模型进行附加处理，从而引导算法在拟合数据的同时生成一个不太复杂的模型。</p>

</section>


    <footer class="article-footer">
    
    <section class="article-tags">
        
            <a href="/tags/%E4%BB%A3%E7%A0%81/">代码</a>
        
    </section>


    
    <section class="article-copyright">
        <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-copyright" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <circle cx="12" cy="12" r="9" />
  <path d="M14.5 9a3.5 4 0 1 0 0 6" />
</svg>



        <span>Licensed under CC BY-NC-SA 4.0</span>
    </section>
    </footer>


    
</article>

    

    

     
    
        
    

    <footer class="site-footer">
    <section class="copyright">
        &copy; 
        
            2020 - 
        
        2023 梅鲁梅鲁梅鲁梅~
    </section>
    
    <section class="powerby">
        Built with <a href="https://gohugo.io/" target="_blank" rel="noopener">Hugo</a> <br />
        Theme <b><a href="https://github.com/CaiJimmy/hugo-theme-stack" target="_blank" rel="noopener" data-version="3.13.0">Stack</a></b> designed by <a href="https://jimmycai.com" target="_blank" rel="noopener">Jimmy</a>
    </section>
</footer>


    
<div class="pswp" tabindex="-1" role="dialog" aria-hidden="true">

    
    <div class="pswp__bg"></div>

    
    <div class="pswp__scroll-wrap">

        
        <div class="pswp__container">
            <div class="pswp__item"></div>
            <div class="pswp__item"></div>
            <div class="pswp__item"></div>
        </div>

        
        <div class="pswp__ui pswp__ui--hidden">

            <div class="pswp__top-bar">

                

                <div class="pswp__counter"></div>

                <button class="pswp__button pswp__button--close" title="Close (Esc)"></button>

                <button class="pswp__button pswp__button--share" title="Share"></button>

                <button class="pswp__button pswp__button--fs" title="Toggle fullscreen"></button>

                <button class="pswp__button pswp__button--zoom" title="Zoom in/out"></button>

                
                
                <div class="pswp__preloader">
                    <div class="pswp__preloader__icn">
                        <div class="pswp__preloader__cut">
                            <div class="pswp__preloader__donut"></div>
                        </div>
                    </div>
                </div>
            </div>

            <div class="pswp__share-modal pswp__share-modal--hidden pswp__single-tap">
                <div class="pswp__share-tooltip"></div>
            </div>

            <button class="pswp__button pswp__button--arrow--left" title="Previous (arrow left)">
            </button>

            <button class="pswp__button pswp__button--arrow--right" title="Next (arrow right)">
            </button>

            <div class="pswp__caption">
                <div class="pswp__caption__center"></div>
            </div>

        </div>

    </div>

</div><script 
                src="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe.min.js"integrity="sha256-ePwmChbbvXbsO02lbM3HoHbSHTHFAeChekF1xKJdleo="crossorigin="anonymous"
                defer
                >
            </script><script 
                src="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe-ui-default.min.js"integrity="sha256-UKkzOn/w1mBxRmLLGrSeyB4e1xbrp4xylgAWb3M42pU="crossorigin="anonymous"
                defer
                >
            </script><link 
                rel="stylesheet" 
                href="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/default-skin/default-skin.min.css"crossorigin="anonymous"
            ><link 
                rel="stylesheet" 
                href="https://cdn.jsdelivr.net/npm/photoswipe@4.1.3/dist/photoswipe.min.css"crossorigin="anonymous"
            >

            </main>
    <aside class="sidebar right-sidebar sticky">
        
            
                
    <section class="widget archives">
        <div class="widget-icon">
            <svg xmlns="http://www.w3.org/2000/svg" class="icon icon-tabler icon-tabler-hash" width="24" height="24" viewBox="0 0 24 24" stroke-width="2" stroke="currentColor" fill="none" stroke-linecap="round" stroke-linejoin="round">
  <path stroke="none" d="M0 0h24v24H0z"/>
  <line x1="5" y1="9" x2="19" y2="9" />
  <line x1="5" y1="15" x2="19" y2="15" />
  <line x1="11" y1="4" x2="7" y2="20" />
  <line x1="17" y1="4" x2="13" y2="20" />
</svg>



        </div>
        <h2 class="widget-title section-title">Table of contents</h2>
        
        <div class="widget--toc">
            <nav id="TableOfContents">
  <ol>
    <li>
      <ol>
        <li><a href="#梯度消失现象">梯度消失现象</a></li>
      </ol>
    </li>
    <li><a href="#nlp学习目标">nlp学习目标</a></li>
    <li><a href="#卷积神经网络">卷积神经网络</a>
      <ol>
        <li><a href="#实际使用卷积神经网络">实际使用卷积神经网络</a></li>
        <li><a href="#填充padding">填充（padding）</a></li>
        <li><a href="#感受野receptive-field">感受野（Receptive Field）</a></li>
        <li><a href="#批量操作">批量操作</a></li>
        <li><a href="#池化">池化</a></li>
        <li><a href="#什么是机器学习模型">什么是机器学习模型</a></li>
        <li><a href="#有监督和无监督">有监督和无监督</a></li>
        <li><a href="#无监督学习的应用">无监督学习的应用</a></li>
        <li><a href="#半监督学习">半监督学习</a></li>
        <li><a href="#分类模型classification">分类模型（classification）</a></li>
        <li><a href="#回归模型regression">回归模型（regression）</a></li>
        <li><a href="#逻辑回归logistic-regression">逻辑回归（Logistic Regression）</a></li>
        <li><a href="#以数据为中心的工作流workflow">以数据为中心的工作流（workflow）</a></li>
        <li><a href="#若输入错误数据则输出亦为错误数据">若输入错误数据，则输出亦为错误数据。</a></li>
        <li><a href="#欠拟合underfitting和过拟合overfitting">欠拟合（underfitting）<code>和</code>过拟合（overfitting）</a></li>
        <li><a href="#欠拟合">欠拟合</a></li>
        <li><a href="#过拟合">过拟合</a></li>
      </ol>
    </li>
  </ol>
</nav>
        </div>
    </section>

            
        
    </aside>


        </div>
        <script 
                src="https://cdn.jsdelivr.net/npm/node-vibrant@3.1.6/dist/vibrant.min.js"integrity="sha256-awcR2jno4kI5X0zL8ex0vi2z&#43;KMkF24hUW8WePSA9HM="crossorigin="anonymous"
                
                >
            </script><script type="text/javascript" src="/ts/main.js" defer></script>
<script>
    (function () {
        const customFont = document.createElement('link');
        customFont.href = "https://fonts.googleapis.com/css2?family=Lato:wght@300;400;700&display=swap";

        customFont.type = "text/css";
        customFont.rel = "stylesheet";

        document.head.appendChild(customFont);
    }());
</script>

    </body>
</html>
